STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
STEPQuant：Delta-rule 循环状态的时空误差感知量化
🧭 线性注意力循环状态量化压缩
Zhejiang University · NLPR & MAIS, Institute of Automation, CAS · Tsinghua University · City University of Hong Kong · Harvard University
提出时空感知的循环状态量化框架，按误差幅度与记忆寿命分配精度，并联合拟合 key-row/value-column 尺度
📌 工作参考价值（4 点）
- 若在线推荐/Agent 部署了 Qwen3.8-27B、Kimi-Linear-48B-A3B-Instruct 等混合线性注意力模型做生成式召回、query 改写或工具调用，可直接采用 STEPQuant 对循环状态做 6-bit 后训练量化，在接近 FP32 精度下获得 5× 状态压缩和大幅显存下降，适合大并发服务。
- 可借鉴其时空混合精度分配思想：在维护 user state / memory 时，不对所有维度一视同仁，按“记忆寿命”和“对输出误差的敏感度”做非均匀量化；长期偏好或高敏感维度保留 FP16/INT8，短期临时状态可降到 4-bit。
- 联合拟合 key-row 与 value-column 缩放系数的做法，对推荐模型里矩阵型状态（如 user embedding × topic embedding、长期兴趣矩阵）有启发：先离线估计各行列对最终 loss/输出的影响，再定制 scale 而非全局 uniform。
- 如果团队自研推理框架，可参考它在 SGLang 中的 GPU kernel 集成方式，将状态压缩与 serving 显存核算结合，上线前用长/短生成 benchmark 做精度-显存回归。